插值法假設數據是完美的。在現實世界中，數據混亂、波動且充滿雜訊。當我們堅持要精確地命中每個數據點時，我們並不會找到真相——而是發現混亂。今天，我們將超越對精確性的僵化要求，進入近似的哲學領域 近似。
精確性的失敗
雖然高次多項式可以命中每一個數據點，但經常會產生類似「龍格效應」的振盪。這些劇烈的波動與底層物理過程毫無關係。 因此，要求近似函數必須與數據完全一致是不合理的特別是在測量存在變異的情況下。
定義「最佳擬合」：三種範數
為了進行近似，我們必須定義一個誤差函數 $E$。我們衡量「接近程度」的方式會徹底改變結果：
1. 極小極大問題（$L_{\infty}$）
目標是最小化可能的最大誤差：
$$E_{\infty}(a_0, a_1) = \max_{1 \le i \le n} \{|y_i - (a_1 x_i + a_0)|\}$$
缺點： 極小極大方法通常過度重視那些嚴重出錯的數據點。
2. 絕對偏差（$L_1$）
絕對差值的總和：
$$E_1(a_0, a_1) = \sum_{i=1}^{n} |y_i - (a_1 x_i + a_0)|$$
缺點： 絕對值函數在零處不可微分，我們可能無法以解析方式求解這組方程。
3. 最小二乘法的優勢（$L_2$）
數值分析中的標準做法，對殘差進行平方：
$$E_2(a_0, a_1) = \sum_{i=1}^{n} [y_i - (a_1 x_i + a_0)]^2$$
這創造了一個平滑且可微的曲面，使得微積分能輕易找到全域最小值。
解析上的限制
選擇度量標準是一種邏輯與微積分之間的平衡。例如，絕對偏差方法對明顯偏離近似值的點給予的權重不足，而 $L_2$ 則提供了一個穩健的中間路徑，既能顯著懲罰大型離群值，又不會完全受單一異常數據點主導。
🎯 核心原則
近似是一門忽略雜訊以尋找信號的藝術。透過從點對點匹配轉向誤差最小化，我們得以還原被測量變異所掩蓋的真實物理定律。